1panel+MaxKB+Ollama+Llama Linux部署指南

打开编辑,可以直接修改文件保存的路径,即本机目录。llama3:70b,一张A100(80G显存)可以运行起来,45G显存就可以运行,但能不能推理没尝试过。如果在演示中,出现限制次数问题,可以在应用中,点击应用...